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Оценивание качества дискриминантных 
функций на основе скользящего экзамена 


Рассмотрена задача поиска дискриминантной функции оптимальной сложности в условиях неопределенности 
по составу признаков. Исследован способ скользящего экзамена для сравнения дискриминантных функций, 
построенных на различных множествах признаков. Получено условие редукции дискриминантной функции 
оптимальной сложности. 


Решение задачи дискриминантного анализа в условиях структурной неопределен- 
ности по составу признаков предполагает принятие какого-либо способа сравнения дискри- 
минантных функций (ДФ), построенных на различных множествах признаков. Два способа 
сравнения популярны в приложениях. Первый способ основан на разбиении наблюдений 
на обучающие и проверочные подвыборки. В этом способе обучающие подвыборки ис- 
пользуются для оценивания коэффициентов ДФ, а проверочные подвыборки — для оце- 
нивания ее качества классификации. Второй способ — способ скользящего экзамена, в 
котором в качестве проверочных выступают наблюдения, поочередно исключаемые из 
обучающей выборки. В литературе эти способы традиционно трактуются как эвристиче- 
ские приемы, хотя факт существования в них оптимального множества признаков неодно- 
кратно подтверждался методом статистических испытаний. В рамках метода группового 
учета аргументов проведено аналитическое исследование этих двух способов сравнения 
ДФ [1-4]. Для решения задачи дискриминантного анализа в условиях структурной не- 
определенности кроме способа сравнения ДФ требуется указать алгоритм генерации 
различных сочетаний признаков, включаемых в ДФ. Предполагается, что в качестве 
такового принят полный перебор всех возможных сочетаний признаков. 


Способ сравнения дискриминантных функций 
на основе скользящего экзамена 


Пусть на этапе с номером 5 (5 =1,2,..., т) алгоритма полного перебора сочетаний 
признаков в ДФ может быть включено только 5 компонент из множества Х’, состав- 
ляющих текущее анализируемое множество Г. Пусть Г соответствуют: 1) Ури Ут - 
(5х: )-и (5хпр) -матрицы наблюдений из генеральных совокупностей В и Ву; 2) Ур и 
Уп — (5х -векторы математических ожиданий для наблюдений из Ни Ву; 3) Ху- 
ковариационная (5х 5) -матрица. 

Традиционный способ скользящего экзамена состоит в следующем: а) одно 


изнаблюдений исключается из обучающей выборки; 6) это наблюдение классифицируется на 
основе дискриминантной функции, построенной на выборке обучения без учета ис- 
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ключенного наблюдения; в) наблюдение возвращается в выборку. Процедура с ис- 
ключением повторяется для второго наблюдения, третьего и так далее до тех пор, пока 
все наблюдения будут классифицированы таким способом. Обычно в приложениях 
оценивается вероятность ошибочной классификации, т.е. подсчитывается число оши- 
бочно классифицированных наблюдений. В отличие от этого традиционного способа в 
предлагаемом способе вычисляется расстояние 
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В формуле (2) вектор 4т,) представляет собой оценку коэффициентов фишеров- 
ской ДФ, рассчитанную без наблюдения с номером 1 из первой группы 
ри ыы 
Чар = Зал (У ю-Ую, (5) 
где вектор Ук; — оценка математического ожидания У1 


Ущи= (т -П) ли -%,); (6) 


вектор УП — оценка математического ожидания УЦ 
я ПИ 
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матрица Зал — несмещенная оценка ковариационной матрицы Ху 


ПГ — — ПИ 
аа И Ре! 
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где Ус — наблюдение с номером й из первой группы, центрированное отно- 


сительно оценки У1(;) 


Уи(о = Уи -У 1(2 й = 2 т (й Е В) . (9) 
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а Упа — наблюдение с номером 4 из второй группы наблюдений, центрированное 


относительно оценки Уп 
Упа — Уч == Уп, 9 БА Пл. (10) 


В формуле (3) вектор Ат) представляет собой оценку коэффициентов фишеров- 


ской ДФ, рассчитанную без наблюдения с номером / из второй группы 


ВИ Е 
Чт, = Загл (У!- Уи), (10 
где вектор У — оценка математического ожидания У] , вычисляемая аналогично (7); 
вектор Уп(;) — оценка Уп, вычисляемая аналогично (6); матрица З(и,;) — несмещенная 


оценка ковариационной матрицы Ху ‚ вычисляемая аналогично (8). 


2 
Из формул (1) - (11) следует, что статистика Оя(Т) есть не что иное, как взвешен- 
ная сумма парных расстояний между наблюдениями первой группы и оценкой математи- 
ческого ожидания Уп второй группы, а статистика Ри Г) — взвешенная сумма парных 


расстояний между наблюдениями второй группы и оценкой математического ожидания 
уг первой группы. 
Используя (5) и (11), получаем: 
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Для упрощения дальнейшего анализа будем полагать: и =иц=и. Вычислим 


математическое ожидание случайной величины р (Г). 


Теорема. Для случайной величины р (Г) выполняется 
2 $-(-1/@-5 с! (+0 6@-0|] № 
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где 27 = (Ут УГУ —Уп) — расстояние Махаланобиса для множества И; 


г=пт+тц-3=2п-3, сИ=и!+(т-1) И. 


Справедливость теоремы следует из того, что: 1) наблюдение У1;, Ут - оценка 


математического ожидания (7) и Зал — оценка ковариационной матрицы (8) незави- 


симы; 2) наблюдение уп., У п — оценка математического ожидания и $ ;) независимы; 
Ш “И (ПЛ } 
3) Зал и $(и,л — случайные (5х5) -матрицы, имеют распределение Уишарта с и сте- 


пенями свободы. 
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Определение 1. Оптимальным множеством компонент (признаков) называется 
множество Горт: 


Горт = агв тах ЕО (У) . (15) 
Гсх 


Определение 2. Оптимальной по количеству и составу компонент называется 
фишеровская дискриминантная функция, построенная на множестве Гор. 


Доказано существование оптимального множества признаков в способе скользя- 
щего экзамена и сформулированы условия, при выполнении которых оптимальная ДФ 
упрощается по числу входящих в нее компонент. 


х 2 
С этой целью исследована зависимость Е{Ох(У)} от состава множества Г. 


Множество компонент Х может быть разбито на непересекающиеся подмножества 
оо Ш оп _ (6) о 
Х=хХвОВ=ГОИЕ: 1) Х=@ (© -— пустое множество) — множество компонент (т — 
о о [е) 
их число), для математических ожиданий которых выполнено ху хи, й=1,2,..., т; 


(о) 
2) К — множество компонент, для математических ожиданий которых выполнено 
о о о о о 
Ри =Ри›й=1,2....,[, где [ — их число, и каждая компонента из множества К стати- 


о о 
стически зависит хотя бы от одной компоненты из множества Х (множество А может 


быть пустым); 3) К — множество компонент, для математических ожиданий которых 


выполнено ру, =Рил, й=1,2,...,[ ‚где [ — их число, и каждая компонента из множества 


о 
К статистически не зависит от любой из компонент множества Х (множество К может 


быть пустым). Сформулированы в виде лемм соотношения между расстоянием Маха- 
[®) [®) [е) 
ланобиса для множества компонент Г = ХЦ А и расстоянием Махаланобиса для про- 


извольного текущего анализируемого множества компонент Г Х [1-4]. Для случая 
известных параметров генеральных совокупностей из сформулированных лемм следует: 


о 
1) любая компонента из множества Х необходима в том смысле, что ее включение в 


2 
текущее множество компонент Г увеличивает расстояние Махаланобиса ту; 2) любая 


[9] 
компонента из множества А необходима в том смысле, что ее включение во множество 
Г увеличивает расстояние Махаланобиса т: 3) любая компонента из множества К 
избыточна в том смысле, что ее включение в текущее множество Г не увеличивает 


расстояния Махаланобиса ту. 


Условие редукции (упрощения) оптимальной 
дискриминантной функции 


В практических приложениях параметры генеральных совокупностей, как правило, 
неизвестны, но могут быть получены как статистические оценки по обучающим выбор- 
кам наблюдений ограниченного объема. Известно, что если применить построенное 
правило классификации к обучающей выборке, то оценка качества распознавания будет 
завышена по математическому ожиданию по сравнению с той же оценкой на независи- 
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мых от обучения данных. Способ скользящего экзамена дает незавышенные оценки 
качества распознавания. Опыт практических применений и тестовые исследования 
на основе метода статистических испытаний показывают, что в этом способе: 1) с 
увеличением объема выборок увеличивается количество компонент во множестве, на 
котором достигается наилучшее качество распознавания, а с уменыпением объема 
выборок количество компонент в таком множестве уменьшается; 2) с увеличением 


расстояния Махаланобиса ла между генеральными совокупностями (из которых по- 
лучены выборки наблюдений) увеличивается количество компонент во множестве, 


на котором достигается наилучшее качество распознавания, а с уменьшением 2. [6] 5 (9) 


уменьшается. Проведенные аналитические исследования объясняют эти эмпирически 
установленные закономерности. 


Сформулируем условие редукции (упрощения) оптимальной ДФ для частного 


о о 
случая независимого признака. Пусть множество Г’ таково, что выполняется Х =УИ (0х, 
о о 
где хЕХ (в ДФ пропущен один признак). Учитывая (14), получаем 
о 
я и 
АСИ) = Е{5(Х)}- ЕО (У); = 
и - | 
т —(-1/(и-т)| с 
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= ее о о о 
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В соответствии с вышеупомянутыми леммами для расстояний Махаланобиса мно- 
з ый о И 
жеств Г и Х выполняется соотношение: ту =ть —7”, где у’ =05()1-Хн)” - состав- 
Х х 
ляющая расстояния Махаланобиса, обусловленная пропущенным независимым призна- 


о о 
ком хЕХ . С учетом этого, ограничившись точностью (1/и), пренебрегая членами по- 


рядка (1/ п? ), получаем 


1 а 
АСИ) = й й [я +тс ' (+ 
к-т-2 |1 +тс | | ну? че де- - 
=. Х 
о 5 2 ] 
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Величина Л(У) может быть как положительной, так и отрицательной. Если ве- 
[) 
личина Д(И)>0, то признак х необходимо включать в ДФ. Если величина Л(У)<0, 
[) 
то признак х не следует включать в ДФ, поскольку это приведет к уменьшению ве- 


о о 


ЛИЧИНЫ р ‚ т.е. добавление признака хе Х не улучшает качество ДФ по рассматри- 
ваемому критерию. 
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Условие Л(У)<0 является условием редукции (упрощения) ДФ, оптимальной по 
количеству и составу признаков. Это условие представляет собой условие отрицательной 


определенности квадратичного трехчлена относительно у? в фигурных скобках (17). 


2 
Пороговым значением для у’, ниже которого возможна редукция ДФ, является значение: 
2 


То 

Хх +1 
о 

г—т-—3 

2 о 
(у 2 о: 6 ь (18) 
ы 2 +тс 

Х 


На рис. 1 представлены зависимости порогового значения (18) от объема 
о 
ы 2 
выборок и для набора расстояний Махаланобиса т. при фиксированном т =6. 


2) 0.35 т : т : : : : : : 
(у Иа 
18 
о.з|- 
16 1 
0.25|- 14 
12 
0.2 [ 10 
|: 
0.15 + 
| в 


0.05 - 


Рисунок 1 — Зависимости порогового значения д от объема выборок п 


—1 
Отметим, что в асимптотике при и —> © (г-*®,с —0) условие редукции не 


о 


выполняется, т.е. Горт =Х. 


Заключение 


Обоснован способ скользящего экзамена для сравнения дискриминантных функций в 
условиях неопределенности по составу признаков. Несмотря на успешное применение 
этого способа на практике и неоднократное подтверждение его работоспособности 
методом статистических испытаний, он традиционно считался эвристическим приёмом. 
Получены условия существования оптимального множества признаков, зависящие от 
параметров генеральных совокупностей и объемов выборок, и выявлены закономерности 
упрощения оптимальной дискриминантной функции при уменьшении объемов выборок 
и при увеличении дисперсий признаков. Показано, что в условиях структурной не- 
определенности и отсутствия априорных оценок ковариационной матрицы признаков 
применение этого способа скользящего экзамена позволяет решать задачу поиска 
дискриминантной функции оптимальной сложности. 
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О.П. Саричев, Л.В. Саричева 

Ощнювання якост! дискримшантних функц на основ! ковзного 1спиту 

Розглянуто задачу пошуку дискримнантно! функцй оптимально! складност! в умовах невизначености за 
складом ознак. Дослджено спос1б ковзного 1спиту для порвняння дискримнантних функщй, що побудован! на 
разних множинах ознак. Отримано умову редукци дискримнантно! функций оптимально! складност!. 


А.Р. багусйет, Г.И. багусйеуа 

ОпаПеу ог Е5ИтаНоп о? О5стипташЕ Еипсйоп$ Бу Нато Ехаттайоп 

ТБе {а5К оё зеагсН оЁ 415сгиитап" Рлпсйоп оЁ оритит сотр/ехИу ш соп41оп$ оЁ ипсецаииу оп зйтасаге 
оЁ Геафигез 15 сопз14егед. ТБе зПте ехаплтайоп юг сотрапзоп оЁ Фе 415сгиитат Рапсбоп$ сопзгасеа 
оп уатотз 5е{5 оЁ Ееафгез 15 шуезизаеа. Те соп4 оп оРа гедисНоп оЁ Ч15сгиитапЕ РапсНоп оЁ орйтит 
сотрехиу 15 гесетуеа. 


Статья поступила в редакцию 31.05.2011. 
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